1．「倫理」の内容からプロセスへ
「倫理指針」は学会員の研究活動に制約をもたらすの か─． 2017年 5 月 24 日，人工知能学会全国大会で倫理委員 会の公開討論が開催され，松尾 豊委員長が倫理指針を紹 介した．倫理委員会は 2017 年 2 月 28 日に「人工知能学 会 倫理指針について」という説明文とともに倫理指針を ホームページに公開している [倫理委員会 17a]．そこで は「倫理指針は，すぐに何らかの実効性を持つことを意 図するものではありません」と書かれている．にもかか わらず，当日寄せられた来場者からのコメントには，去 年と変わらず研究活動への影響に対する疑問の声があっ た． 当日，会場には米国電気電子技術者協会（The Institute of Electrical and Electronics Engineers：以下 IEEE） の一委員会のアウトリーチ委員長である Danit Gal 氏を ゲストとしてお招きしていた．IEEE の一委員会は昨年 12月に「倫理的に調和したデザイン（第 1 版）」（Ethically Aligned Design version 1：以下 EADv1）と題するレ ポートを公開している．「EADv1 は研究活動に対して拘 束力を持つのか」という問いに，彼女は「短い答えとし ては No，長い答えとしては Yes」と答えた [倫理委員会 17b]．それは具体的には何を意味するのか． この問いに答えるためには，倫理指針や原則として議 論されている「内容」だけではなく，議論の「プロセス」， つまり議論の場がどのように設計されているかにも目を 向けなければならない． 本稿ではまず 2 章で現在公開されているさまざまなレ ポートを紹介し，そこで取り上げられている倫理の「内 容」を整理する．その後，議論の「プロセス」に焦点を 当てるため，3 章で IEEE の活動を紹介する．そこで先 ほどの Gal 氏の答えを解説する．4 章では IEEE で行わ れている議論の「プロセス」を，責任ある研究・イノベー ション（Responsible Research & Innovation：RRI）の 4柱である（1）応答性と変化への適応性，（2）先見性と 省察性，（3）多様性と包摂性，（4）公開性と透明性を参 照して紹介する．最後に，日本でこのような場の設計を するにあたっての今後の展開について 5 章でまとめる．2．「人工知能と倫理」に関するレポート
2･1 レポートに共通する特徴 現在，人工知能の研究開発や運用に関する指針や原則 のレポートが世界各国で公開されている．表 1 からもわ かるように，2016 年後半期だけでもさまざまな団体・ 組織が発表している．これらのレポートに大枠として共 通する特徴が二つある． 第一に，技術が内包するリスクを減らし人類がベネ フィットを享受できるよう適確な開発と運用が大事であ るとする．そのためには何がリスクでベネフィットなの かを判断する基準である「倫理」（ethics）や「価値」（value） の問題に取り組むことが課題となる． それが第二の特徴，すなわち個々の価値が多様化かつ タコツボ化しているため異分野や異業種間協働の必要を 説くことにつながる．事実，表 1 にある報告書の執筆に は十数人，多いところでは 100 人以上が参加している． 2･2 内容の 3 分類 表 1 は現在公開されているレポートの一部を紹介して いるに過ぎない．「現在公開されている原則やルールを 人工知能に整理させたらどうか」と揶揄されるほどさま ざまなレポートや論点がある．残念ながらそのような人 工知能はまだないため，レポートで取り上げられている 「倫理」の内容をざっくり 3 分類し，2･3 節でその分類 の比重に基づいてレポートの整理を行う．倫理的に調和した場の設計：責任ある研究・
イノベーション実践例として
Ethically Aligned Design Dialogue: A Case Practice of Responsible
Research and Innovation
江間 有沙
東京大学大学院総合文化研究科・教養学部，理化学研究所Arisa Ema Graduate School of Arts and Sciences, The University of Tokyo. / RIKEN. [email protected]
Keywords:
responsible research and innovation, ethics, IEEE, design. 「AI 社会論」§ 1 研究（者）倫理 3分類の最初は「研究（者）倫理」である．これは，「研 究者の社会的責任」や「不正行為をしない」など，研究 者であれば守るべき行動規範で，人工知能研究のみなら ずあらゆる研究に当てはまるものである． § 2 人工知能の倫理 次に「人工知能の倫理」（AI Ethics）とでもいう論点 がある．これには大きく，（i）技術の開発原則や指針づ くりと，（ii）技術の社会への影響分析に分けられる．こ れらは新しい技術に対して考えなければならない論点で あり，人工知能に限らずナノテクノロジーや再生医療な どでも議論される． この議論には，技術者だけではなく政策決定者や法律 家，経済学者，社会学者，倫理学者といったさまざまな 研究者や実務家などの意見が必要となる．さらには実際 に人工知能を運用したり利用したりする人々の意見を収 集したり合意形成を行うことも重要となる． § 3 倫理的な人工知能 最後に「倫理的な人工知能」（Ethical AI）に関する研 究がある．これは倫理的・道徳的に振る舞う人工知能の 研究であり，前述の二つとは異なり他の研究分野ではあ まり見られない論点である． 人工知能やロボットが人間の生活に入り込んだとき， さまざまなジレンマ状況に対応しなければならないこと がある．例えばヘルスケアに携わる人工知能が患者にあ る治療を進めたところ患者が拒否したとする．そのとき， もう一度考え直すように説得すべきか，それとも患者の 自律性を尊重するべきか [Anderson 07]．あるいは自宅 に導入された介護ロボットは，介護者の苦痛をできるだ け和らげることが目的と設定されている一方で，薬の提 供には遠隔にいる管理者の許可が必要だとする．何らか の理由で遠隔通信ができなくなったとき，苦しんでいる 介護者にロボットはどう対応するべきか [Scheutz 16]． 人間でも答えるのが難しいジレンマ状況に機械はどう 対応するよう設計すべきか．「倫理的な人工知能」研究は， ジレンマ状況などに対応できる機械の構築を試みること で，倫理や自律，権利などの概念や人間と機械の関係と は何かを改めて問う．人間がインプットした情報から機 械が状況に応じて判断できるようにするのか，統計的に 分析するのか，あるいは学習をしていくのかなどさまざ まなアプローチがある．さらには機械自らが自律的な判 断を下せる汎用人工知能が実現できるか，という長期的 な視点に立つ研究もある． 直接的に技術的な挑戦に取り組むのは技術者や倫理学 者らになるが，何が「倫理的なのか」という既存の概念 の再構成を迫るという点では，私達一人一人も考えなけ ればならない論点である．もちろんそのような人工知能 やロボットをつくること，あるいはそのような判断を機 械にさせること自体が「倫理的なのか」も考える必要が ある． 2･3 日本のレポートの特徴 本節では，表 1 に記した日本のレポートを前節の 3 分 類の比重に基づいて整理し，特徴を概観する．また海外 のレポートの中で日本にはあまりない論点も紹介する． 表 1 2016 年度後半に公開された人工知能と社会関連の報告書 年 月 国・組織名 タイトル 内 容 2016年 6 月 日本・総務省情報通信政策研究所 AIネットワーク化の影響とリスク AI的影響評価指標ネットワーク化の開発原則策定の推進と社会 2016年 9 月 Partnership on AI非営利団体・ Partnership on Artificial Intelligence to Benefit People and
Society, Tenets
AI研究に関して便益を最大化し課題に対処する よう努める 8 つの信条を公開
2016年 9 月 米・スタンフォード大学 Artificial Intelligence and Life in 2030 2030て議論ガイドラインの必要性を提案年の AI を予測し，教育など 8 領域につい 2016年 10 月 英・下院科学技術委員 Robotics and Artificial Intelligence: Fifth Report of
Session 2016-2017
ロボットや AI が雇用，社会，倫理，法などに もたらす影響を検討し，開発原則策定に関する 委員会設置を提言
2016年 10 月 米・ホワイトハウス Preparing for the Future of Artificial Intelligence AIて 23 の提言の社会や政府での活用事例とその規制につい 2016年 12 月 米・The IEEE Ethically Aligned Design, Version 1 AI・自律システムの開発ガイドラインや法に関する 8 項目を公開 2017年 1 月 Future of Life Institute非営利団体・ Asilomar AI Principles AI課題について 23 の原則を公開の研究課題，倫理や価値への配慮と長期的な 2017年 1 月 欧州議会・法務委員会 Report with Recommendations to the Commission on Civil Law
Rules on Robotics 欧州におけるロボットと AI 推進に関わる欧州 統一的な規則制定を提言 2017年 2 月 日本・人工知能学会倫理委員会 倫理指針 倫理綱領をもとにしてつくられた，学会員のための倫理指針で 9 条からなる．人工知能への倫 理順守の要請（第 9 条）が特徴 2017年 3 月 日本・内閣府 人工知能と人間社会に関する懇談会 報告書 倫理・法・社会などの論点と，移動・製造・個人向けサービスなどの分野別で問題を整理
§ 1 人工知能学会「倫理指針」 人工知能学会の「倫理指針」[倫理委員会 17a] は，人 工知能学会員と非学会員の 9 名からなる委員とオブザー バ 3 名によって策定されたものである．大半が人工知能 学会研究者で占められている． もともと「倫理綱領」として策定されていたため，研 究者としての職業倫理の側面が強く，法規制の順守や公 正性，誠実な振舞いなど「研究（者）倫理」に焦点がある． 一方で，人類への貢献（第 1 条）や，人工知能が社会に もたらす影響について検証し警鐘を鳴らす（第 7 条）と いった「人工知能の倫理」の土台となる枠組みや，人工 知能への倫理順守の要請（第 9 条）といった「倫理的な 人工知能」への展望をのぞかせている． § 2 内閣府「人工知能と人間社会に関する懇談会 報 告書」 内閣府の報告書[内閣府 17]は，人工知能研究者のほか， 人文・社会科学研究者や弁護士らの実務家も含めた 12 名の構成員によって作成された．またオブザーバには各 関連省庁が名を連ねている． 報告書では人工知能を，社会に多大な便益をもたらす ことが期待されている一方で，「健全な利用のためにそ の影響を検討する必要がある」と位置付けている．そし て報告書の目的を，人工知能に対する疑念・不安に対し て現状を整理し，問題を特定し，検討事項を明らかにす ることとしている．そのため，倫理・法・社会などの論 点と，移動・製造・個人向けサービスなどの分野別で問 題を整理している．研究者ではない人々への不安に対応 するため，「人工知能の倫理」を整理することが主である． § 3 総務省情報通信政策研究所 「AI ネットワーク化推進会議」 総務省情報通信政策研究所は 2015 から 16 年にかけ て「AI ネットワーク社会検討会議」，2016 年 10 月か らは「AI ネットワーク社会推進会議」を開催している [総務省情報通信政策研究所 17]．検討会議は須藤 修座 長と村井 純顧問のほか 34 名の構成員からなり，推進 会議は議長，副議長のほか 28 名と 4 名の顧問からなる （2016 年 10 月 21 日時点）．さらにその下に開発原則分 科会と影響評価分科会がある．こちらも人工知能研究者 や人文・社会科学研究者のほか企業や実務家によって構 成されている． 本会議では人工知能のネットワーク化によって多大 な便益が広範にもたらされることを期待する一方で，不 透明化や制御喪失などのリスクがあることを指摘してい る．そのため，目指すべき社会像として人間中心の「智 連社会」を基本理念として掲げ，その実現のために（1） 「AI 開発ガイドライン（仮）」の策定検討と，（2）AI ネッ トワーク化が社会などにもたらす影響とリスクの評価を 分けて整理している．つまり，「人工知能の倫理」の（i） 開発原則と（ii）社会的影響を明確に分類して（ただし， 相互作用を意識しながら）議論を整理している．AI 開 発ガイドラインは特に OECD など国際的に発信してい くことを目的としている． § 4 海外のレポート 国外に目を転じると，レポートを発表する主体が多 様であることに気付く．国際機関や政府（欧州議会，イ ギリス下院科学技術委員やアメリカホワイトハウス）の ほか，企業の連合体（Partnership on AI），NPO（The Future of Life Institute），大学や学術団体（スタンフォー ド大学や IEEE）がレポートを出している． 内容も行動指針的なものを含む「研究（者）倫理」や「人 工知能の倫理」に関する大枠の論点は日本の議論と共通 である． 日本のレポートがどちらかというと短期的かつ現実 的な視点に基づいて論点を出しているのに対し，The Future of Life Instituteの出した「アシロマ AI 原則 （Ashilomar AI Principles）は「長期的な問題」という カテゴリーを設け，人工知能そのものが自己改善や自己 複製することへの対策など「倫理的な人工知能」の視点 なども論点に入っているのが特徴である．同様に IEEE の EADv1 も「汎用人工知能や人工超知能の安全性や便 益」という項目がある． また，日本のレポートでは人類への貢献や安全性な ど一般論で語られがちであるが，自律型兵器システム （Autonomous Weapon Systems：AWS）について IEEE の EADv1 やスタンフォード大学の AI100 レポートは明 示的に言及している．
余談だが，アメリカ人工知能学会（AAAI）や The Future of Life Instituteが会議を「アシロマ」で行って いるのも，意図的なところがあると考えられる．1975 年に開催された「アシロマ会議」は，遺伝子組換え技術 に対する生物学的封じ込めの合意や物理学的封じ込めな どのガイドライン制定の端緒となった．研究者の社会的 責任を考えるうえで必ず参照される会議である．このよ うに海外においても人工知能研究者自らが，技術の開発 段階から多様な分野の研究者や実務家とともに，その社 会的影響などについて考えていくという姿勢がうかがえ る． 2･4 規制や規格への展望 2章では 3 分類を軸に主に日本のレポートを紹介した． レポートの多くは人工知能の研究開発やイノベーション の促進を目的としているため，ただちに規制や規格をつ くるものではない．例えば，昨年 12 月 31 日，新聞社が「総 務省は企業が開発する人工知能に公的認証を与える制度 を立上げる方針」という記事を出したが，これに関して も「誤報」であるとの対応があった． そのような中で電気通信関連の標準化団体である IEEEは独自の動きを展開している．次章では，IEEE の活動を紹介し，「拘束力があるのか」という冒頭の Gal氏の答えを解説する．
3．IEEE の活動紹介
3･1 IEEE グローバル・イニシアティブと EADv1 「倫理的に調和したデザイン 第 1 版」（Ethically Aligned Design version 1：以下 EADv1）は，2016 年 12月に公開された [IEEE 16]．発行元は，「人工知能お よび自律システムの倫理的配慮に関する IEEE グロー バル・イニシアティブ」（The IEEE Global Initiative for Ethical Considerations in Artificial Intelligence and Autonomous Systems：以下イニシアティブ）である． このイニシアティブは 2015 年に構想が練られ，2016 年 4月に公的に活動を開始した．イニシアティブの目的は 自律システムに対する恐怖や過度な期待を払拭するこ と，そして，倫理的に調和や配慮された技術をつくるこ とによってイノベーションを促進させることにある． EADv1は以下の 8 項目から構成される． 1．倫理的に調和したデザインをするための一般原則 2．自律型知的システムに価値観を組み込む 3．倫理的な研究や設計のための方法論やガイド 4．汎用人工知能や人工超知能の安全性や便益 5．個人データとアクセス制御 6．自律型兵器システムの再構築 7．経済 / 人道的課題 8．法律 ここで議論されているのは，タイトルの「倫理的に調 和したデザイン」からもわかるように倫理そのものでは なく設計論や設計思想，そしてそれをどのように技術に 落とし込めるかの論点整理である．そのため，技術者だ けではなく，人文社会科学の研究者や実務家，国際機関 の関係者など多様な人達が執筆に参加している．2017 年 6 月現在で 200 人以上が執筆やフィードバックコメン ト提供に貢献している．それを受けて 2017 年の秋に公 開される予定の第 2 版には，「アフェクティブコンピュー ティング」，「政策」，「ICT における伝統的倫理観」，「複 合現実」，「ウェルビーィング」の 5 項目が加わった 13 項目から構成されることになっている [IEEE 17]． IEEEは電気通信関連の標準化団体であり，無線 LAN 規格などで知られている．そのため，このような活動 を見ると「倫理の標準規格」ができるのかと警戒され がちである．誤解がないように注釈を加えると，この EADv1がそのまま標準化されること，あるいはこのイ ニシアティブが規格をつくることはない．それが冒頭の 「EADv1 の拘束力はあるか」という問いに対する Gal 氏 の「短い答えは No」につながる．これはあくまでガイ ドであり，著者達は EADv1 が，各研究室に置かれ，技 術開発や運用をするときに実践的に参照できるようなも のになってほしいと考えている． では後半の「長い答えは Yes」というのはどういう意 味なのか．
3･2 IEEE Standard Association の活動
それに答えるためには IEEE-SA（Standard Association： 標準規格）を理解する必要がある．IEEE で規格を承認 するのは IEEE-SA である．イニシアティブは IEEE-SA の下部組織である．そして EADv1 の執筆メンバを中心 として，標準化を目指すプロジェクトが IEEE-SA に承 認されている．2017 年 8 月現在，IEEE-SA の P7000 シリーズとして以下の 11 ワーキング・グループが標準 化を目指しドラフトを作成中である． 1．システム設計時に倫理的問題に取り組むモデルプ ロセス（P7000） 2．自律システムの透明性（P7001） 3．データプライバシーの処理（P7002） 4．アルゴリズム上のバイアスに関する考察（P7003） 5．子供と学生のデータガバナンスに関する標準（P7004） 6．雇用者の透明性のあるデータガバナンスに関する 標準（P7005） 7．パーソナルデータ人工知能エージェントに関する 標準（P7006） 8．ロボットおよび自動システムを倫理的に駆動する ためのオントロジー標準（P7007） 9．ロボットや知的自動システムを倫理的に「ナッジ （そっと促す）」して駆動するための標準（P7008） 10．自律および半自律システムのフェイルセーフ設計 に関する標準（P7009） 11．倫理的な人工知能と自律システムのウェルビーィ ング測定基準に関する標準（P7010） 一般的にワーキンググループによる提案が標準化され るには，グループ内やスポンサーからの投票などいくつ かの審査プロセスを経る必要があり，最短でも 2 ∼ 3 年 かかると考えられている [小牧 06]．さらに，今までの IEEE-SAの歴史において，技術者のための「倫理綱領」 はあっても，技術開発における「倫理」を考えるワーキ ンググループは存在したことがないという．そのため， どのような規格になるのかは侃々諤々と議論が行われて いる． しかし，規格が承認されれば，それは EADv1 の議論 から生まれたものでもあるため「長い答えは Yes」とい うことになる． 3･3 対外的な発表と周知活動 もちろん IEEE-SA の規格自体に拘束力はない．し かし，イニシアティブの関係者は欧州議会や世界経済 フォーラムなど，さまざまな機会で EADv1 の報告や発 表を行い，認知度を高めている．彼らは世界的にもデファ クトスタンダードとして使われることを目的として活動 をしている． また，国際的な標準を目指すには一部の人達で議論を 進めていくべきではないとイニシアティブでは考えられ ている．つまり，より上流のアジェンダ設定や議論のプ
ロセスそのものにも多くの人達が関わるべきだと考えて いる．そのためイニシアティブでは何を論点とすべきか の「中身」を考えるための「場のデザイン」や「参加の プロセス」でさまざまな工夫を行っている． 次章では，著者がイニシアティブの活動に加わる中で 経験したことを整理して紹介する．
4．議論の場のデザイン
4･1 責任ある研究・イノベーション イニシアティブの活動を整理するにあたって，補助 線となる概念を紹介したい．萌芽的な技術（emerging technologies）には不確実性があるため，責任ある研究・ イノベーション（Responsible Research & Innovation， 以下 RRI）という概念が提唱されている [Owen 12]． RRIに関しては 2000 年代前半から欧米で議論されて おり，欧州連合のフレームワークプログラムでもある Horizon 2020（2014 ∼ 2020）でも言及されている．そ のプログラムの成果物でもある RRI-Tools プロジェクト は，RRI のプロセスの重要項目として，以下の 4 点を掲 げている（https://www.rri-tools.eu/）．1．応答性と変化への適応性（Responsive and Adaptive to Change）：変化する状況，知識や展望に対応して 思考や行動様式，組織構造を包括的に変更できるこ と
2．先見性と省察性（Anticipative and Reflexive）：研 究やイノベーションがどのように未来を形成するか をより良く理解するための前提，価値観や目的を熟 考し，影響を想定すること
3．多様性と包摂性（Diversity and Inclusion）：研究・ イノベーションの実践，普及と意思決定において， 科学技術の発展の早い段階から多様な人達を巻き込 むこと
4．公開性と透明性（Open and Transparent）：人々 が情報を精査し対話できるように，方法，結果や影 響についてバランス良く伝達すること
次節でそれぞれの項目に対応する形でイニシアティブ の活動を考察する．
4･2 応答性と変化への適応性：ヴィジョン形成
イニシアティブの Executive Director である John C.
Havens氏の掲げるヴィジョンや協調力が果たす役割 は大きい．コンサルタントでジャーナリストでもある Havens氏は 3 年前にテキサスで開催されたインタラク ティブフェスティバル，サウス・バイ・サウスウエス トで人工知能の倫理綱領について講演を行った．それを 聞いて人工知能の倫理に取り込むことの重要性を認識 した Konstantinos Karachalios 氏（当時 IEEE-SA の Managing Director）によってイニシアティブが承認さ れた．そしてロボティクス研究者でもある Raja Chatila
氏を委員長として迎え，現在の体制を築いている．また，
IEEE-SAにおいて迅速にコンテンツを生み出す補助
をする産業連携（Industry Connection）プログラムの Rudi Schubert氏や，広報の Lloyd Green 氏など
IEEE-SAの中での支援体制も整っている． 人工知能に対する社会的な不安に応答するというヴィ ジョンが今まで倫理を扱ってこなかった IEEE という組 織に変化を起こした．現在 IEEE には新しく“TechEthics” というポータルサイトがつくられ EADv1 などが紹介さ れている．多様な分野や業種の人達とも連携し，議論に 巻き込んでいけるのは Havens 氏という個人の能力によ るところも大きいが，ヴィジョンに呼応して活動を広げ ていく IEEE 関係者やボランティアによるサポートも大 きい． 4･3 先見性と省察性：微修正しながら前進 イニシアティブの活動や連携スピードが速いのは，今 後の人工知能の評価を考えるうえで示唆的である．技 術評価の古典に「コリングリッジのジレンマ」という 考え方があり，「情報の問題」と「力の問題」がある [Collinglidge 80]．すなわち，技術は実際に社会に普及 してみないとその影響についてはわからない（情報の問 題）が，実際に普及してしまった技術はあとからコント ロールすることが難しい（力の問題）． 開発スピードが速い情報技術については，どう事後的 に評価するかではなく，設計の段階から倫理的な視点を 組み込み，影響を想定したうえで運用しながら微修正を していく必要がある．EADv1 自体の執筆もフィードバッ クを得ながら微修正をしていくという考えに基づいてい る．そのため，期間を決めて版を刷新していくことを前 提としており，さまざまなフィードバックを受けた第 2 版が 2017 年の秋に公開予定である．第 2 版は，論点を 抽出したベストプラクティス集である第 1 版からもう少 し踏み込んだものになっており，さらにその次の第 3 版 作成もすでに視野に入っている． 4･4 多様性と包摂性：開かれたコミュニティ レポート執筆や標準化は一般的には専門知識のある人 達による議論や討論から形成される．ある程度，概念や 問題を共有している人達が集まって議論することにはメ リットがある．冗長な前置きなく，それぞれの問題への 関心をぶつけ合うことで精密な議論ができるからだ． しかし，価値や倫理を議論する場合，国やコミュニ ティによって法体系やシステムを導入する環境や慣習・ 文化は異なるため標準は一律に決められない．そこで EDAv1執筆や標準化の議論には，欧米だけではなく日 本をはじめとするアジアや中東，南アメリカ，アフリカ 諸国など多くの国や地域の人達の参加が求められてい る．また，技術者や倫理学者だけではなく，法律，経済， 心理学，社会学，人類学などのさまざまな分野のほか，
実務者や政策関係者，NPO，企業などさまざまな業種の 人達が，基準をつくるときから関わることが求められて いる． そのため EADv1 や IEEE-SA 標準化の議論には誰 でも参加できる．IEEE の会員である必要すらない． EADv1の 13 項目，あるいは P7000 シリーズの 11 ワー キング・グループのどれか一つにでも興味をもったら， その Web ページに行ってコミュニティ委員長にメール をするだけである．議論はオンラインで行われるほか， オフラインの会合として「自律システムの倫理に関する シンポジウム」（Symposium on Ethics of Autonomous Systems：以下 SEAS）もある．2016 年 8 月 28 ∼ 29 日にオランダのハーグで，2017 年 6 月 5 ∼ 6 日に米テ キサス州オースティンで開催され，EAD 改定の議論と ネットワーキングが行われた．2017 年の SEAS 参加者 は 100 人ほどで，アカデミア，企業，NPO などさまざ まな業種，分野の人が参加した． 4･5 公開性と透明性：皆でつくり上げる 多様な人によってボトムアップでつくる文書は，問い の粒度や項目数などもバラバラでわかりにくいものにな りがちである．ボトムアップでレポート執筆や標準化の 議論を行うためには，多様な人が集まって意見を出すだ けでは不十分であり，彼らの議論をまとめ，整理し，報 告書の形に仕上げるファシリテーターが必要となる． また，一見して標準をつくることと多様性に配慮する ことは矛盾しているように見える．多様性を狭めるのが 標準ではないかという疑問に対し，IEEE は誰でも参加 できる対話プラットフォームを用意することで対応して いる．いわば，誰でも議論に参加ができるプラットフォー ムで多様な人達が議論をするというプロセスを経ること で，「標準」の多様性を担保するのである． EADv1や P7000 シリーズのコミュニティに加わると， 基本的な議論は音声チャットや Google document など を用いてオンラインで展開される．誰がどのような発言 をしたのかの履歴や記録が残る．また，フィードバック を提出した人や誰がどの章の議論に参加し執筆したのか も，すべて EADv1 の末尾に掲載されており，第 2 版で もそれは同様である． また EADv1 自体は Web に公開されており，誰でも アクセスできる．そのほか，誰でもが使えるようにク リエイティブコモンズライセンスが付いている（CC BY-NC3.0）．自由に共有そして翻訳・改変が可能である ため，各国のボランティアによって現地語へと翻訳が進 められている．筆者自身がイニシアティブに加わるよう になったのも EADv1 の日本語版を用いたワークショッ プを開催したことがきっかけであった．ワークショップ は名古屋と京都で 1 回ずつ，東京で 2 日間連続開催をし て総勢 44 名の方にご参加いただいた．そこで出てきた 論点をまとめて 6 月にオースティンで開催された SEAS に 提 出 し た ほ か， 日 本 語 版 を Web で 公 開 し て い る （https://sites.google.com/view/ethically-aligned-design-ws/workshop-in-japan）．
5．日本への示唆と今後の展開
本稿では，日本国内で公開されている人工知能の指針 や原則などのレポートの紹介とともに，IEEE イニシア ティブが報告書執筆や標準化プロジェクトを推進するに あたって，どのように議論の場をデザインしているかを 紹介した． イニシアティブで議論されている項目や標準化の「内 容」やその結果が及ぼす影響が，研究者や日本にとって 「良い」，あるいは適切なものであるかどうかは，プロジェ クトが進行中の現在では判断はつかない．しかし，EAD の執筆や活動の「プロセス」は独特であり，そこから学 べることは多い． 多様な人達を包摂することが重要であると考えていて も，議論の場を主宰する側は自分の知らない分野や国の 人の情報がなく，参加する側もよくわからない会議に進 んで参加するインセンティブはない．そのため多くの会 議やネットワークは「招待制」ないし「紹介制」になる． そうすると必然的に「どの会議に行ってもだいたいメン バは知り合いか，知り合いの知り合い」状況になる． そのような状態を避けるため日本でもさまざまな組織 やネットワークが工夫をしている．例えば人工知能の議 論に人文社会科学系の研究者を構成員に入れる，あるい は構成員の数も適宜加えるなど柔軟に対応している．ま た現在どのようなレポートもパブリックコメントを募集 しており，専門家だけではなく広く一般からの意見も募 集しているほか，ワークショップなどを実施することで より積極的に一般の意見を取り入れている．しかし，海 外の連携と比較するとこれらの方法は，「内容」を充実 させることに比重があり，「プロセス」そのものを工夫 するのりしろがまだまだあるように思える． 公開性や多様性を求める積極性や工夫，そして組織 間の連携づくりは欧米が強くそして継続的である．現 在，NPO，アカデミアなどの比較的自由なネットワー クから構成されるさまざまな Initiative（構想・企画） が，立ち上がっている．彼らは人，モノ，カネの連携を させながら，国際的な潮流をつくろうとしている．例 えば，2017 年 9 月からハーバードケネディスクール発 の NPO 法人 The Future Society が，人工知能に関する 国際的なオンライン討論「AI Initiative Civic Debate」 （https://assembl-civic.bluenove.com/ai-consultation）を開始する予定である．IEEE や The Future of Life Instituteと連携したテーマ設定と議 論の場の構築が進められており，議論の内容は EAD な どに還元されるほか国連や欧州議会などにも提出される 予定である．AI Initiative Civic Debate の Web ページ
には「人工知能革命」，「公益のための人工知能」，「雇用 への影響」，「2045 年の未来像」の 4 テーマにそれぞれ 3∼ 4 個のシンプルな質問がある．世界各国から意見を 集めるフェーズ，それを集約して対話させるフェーズな どがあり 6 か月間にわたる試みである．そのためにかけ るコストそして論点を整理できるファシリテータなどの 人的リソースの豊富さは一機関で行うのではなく，連携 が取れているからこそである． もちろん，政府の会議と学協会や NPO の試みを同列 に扱うことはできない．あるいは日本人に IEEE で行っ ているプロセスが受け入れられるのかという疑問もある だろう．しかし，多様性かつ包摂性を掲げるイニシアティ ブは日本の参加を積極的に求めている．例えば，今年オー スティンのテキサス大学で開催された「自律システムの 倫理」に関するシンポジウムは，2018 年に日本での開 催が決定している． 人工知能ができることは何か，どのように使いたいか を考えることは，どのような社会をつくりたいか，どの ように人やモノ，環境と関わっていきたいかを再定義す ることでもある．その再定義のきっかけは異なる価値と の対比の中から立ち現れる．日本は今，「人工知能と人 間」，「欧米と日本」という二重の比較のなかから自分達 が目指すべき社会を考えなければならない時期に来てい る．議論すべき内容だけではなく対話のプロセス，枠組 みや方法論自体について考えることが，今後ますます大 事になってくるだろう． 謝 辞 人工知能学会倫理委員会の皆様，大会運営委員の皆様 のご協力とご支援なくして一連の企画はできませんでし た．特に，すべての企画は長倉克枝氏のご尽力なくして 成し遂げられませんでした．また，John C. Havens 氏， Danit Gal氏をはじめ IEEE イニシアティブの方々や
IEEEジャパン・オフィスの方々には，イベント企画に 対するご協力やご支援，本論文執筆に関するアドバイス をいただきました．日本でのワークショップ開催におい ては，ロボット考学専門委員会委員長の上出寛子氏をは じめとして委員の皆様，AIR の皆様，そして議論にご参 加いただいた皆様に感謝申し上げます．また，本稿を書 き上げるにあたって見上公一氏に適確なアドバイスをい ただきました．本稿の一部は JST-RISTEX の研究開発 プロジェクト「人と情報のエコシステム」の成果による ものです．
◇ 参 考 文 献 ◇
[Anderson 07] Anderson, M. and Anderson, S. L.: Machine ethics: Creating an ethical intelligent agent, AI Magazine, Vol. 28, No. 4, pp. 15-26（2007）
[Collinglidge 80] Collingridge, D.: Social Control of Technology, Continuum International Publishing Group Ltd.（1980） [IEEE 16] IEEE: Ethically Aligned Design, ver. 1, http://
standards.ieee.org/develop/indconn/ec/ead_v1.pdf （2016）
[IEEE 17] Executive Committee Descriptions & Members ‘As of 18 May 2017’，http://standards.ieee.org/develop/ indconn/ec/ec_bios.pdf（2017） [小牧 06] 小牧省三，小林禧夫：電子情報通信学会における標準化 活動の現状と課題，信学論（B），Vol. J89-B, No. 2, pp. 55-67 （2006） [内閣府 17] 内閣府：人工知能と人間社会に関する懇談会報告書， http://www8.cao.go.jp/cstp/tyousakai/ai/summary/ index.html（2017）
[Owen 12] Owen, R., Macnaghten, P. M. and Stilgoe, J.: Responsible research and innovation: From science in society to science for society, with Society, Science and Public Policy, Vol. 39, No. 6, pp. 751-60（2012） [倫理委員会 17a] 「人工知能学会 倫理指針」について（2017 年 2 月 28 日公開），http://ai-elsi.org/report/ethical_ guidlines（2017） [倫理委員会 17b] 「公開討論の開催 報告」（2017年6月16日公開）， http://ai-elsi.org/archives/info/20170616（2017） [Scheutz 16] Scheutz, M.: The Need for Moral Competency in
Autonomous Agent Architectures Fundamental Issues of Artificial Intelligence, Vol. 376 of the series Synthese Library,
pp. 517-527（2016） [総務省情報通信政策研究所 17] 総務省：AI ネットワーク化検討会 議，http://www.soumu.go.jp/main_sosiki/kenkyu/ai_ network/index.html（2017） 2017年 7 月 4 日 受理
